Ông quê tại huyện Duy Xuyên, tỉnh Quảng Nam. 

Người anh trai của ông là ông Hoàng Mai, hoạt động cách mạng cùng thời với ông Võ Chí Công trong nhóm Xuân-Hạ-Thu-Đông (Xuân là bí danh của ông Võ Chí Công, Hạ - là bí danh của ông Hoàng Mai, Thu - bí danh của ông Mã Sắc Kim, Đông - bí danh của ông Trương Kiểu). Ông Hoàng Mai không chỉ hoạt động cách mạng tại địa phương (trong Ban khởi nghĩa chống Pháp huyện Duy Xuyên) mà còn được cấp trên điều động vào chiến trường Nam Trung Bộ, hoạt động ở tỉnh Lâm Đồng. Tại đây, trong một cuộc họp, ông Mai bị bắt, sau đó bị địch xử bắn ở Đơn Dương, Lâm Đồng. Ba người chị của ông cũng tham gia hoạt động cách mạng. Người chị thứ hai và thứ ba sớm qua đời. Người chị thứ năm hoạt động đến năm 1954 rồi ở lại miền Nam. 

Ông tham gia cách mạng rất sớm, từ thời còn học lớp nhì (lớp 4 bây giờ) trường làng của ông Hồ Nghinh.

Nhỏ tuổi nhưng ông rành chữ Hán, giúp ông Hoàng Mai sao chép bằng tay tài liệu để tuyên truyền, kể cả viết lại thư của Hồ Chủ tịch gửi đồng bào.

Học xong bậc tiểu học, Hoàng Kim trở lại Hội An học một năm